Weight Standardization
Siyuan
Qiao
,
Huiyu Wang
,
Chenxi Liu
, Wei
Shen
, Alan
Yuille
Johns Hopkins University
出力チャンネルごとに重みを
正規化
する
Weight Standardization
の提案。
Batch Normalization
の効果は当初提唱されていた
共変量シフト
の解消ではなく、
勾配
をなだらかにする方にあることが最近示されているが、そうならば後者をより強める手法を、ということで発明された。小
バッチサイズ
でも有効な手法
https://gyazo.com/bc9d92eccfef468b3ef6dbe2fcde0cfa
https://github.com/arXivTimes/arXivTimes/issues/1158